Nơi đây khởi thủy là con kênh dẫn nước từ sông Sài Gòn vào thành Gia Định (còn gọi thành Bát Quái) do Nguyễn Ánh xây dựng năm 1790. Ban đầu, nó có tên là Kinh Lớn (nghĩa là "con kênh to lớn") vì là con kênh trọng yếu giúp thuyền bè chạy thẳng vào thành. Thời Pháp thuộc, người Pháp cũng gọi Kinh Lớn với tên tương tự trong tiếng Pháp là Grand. Người Việt đôi khi còn gọi Kinh Lớn là Kinh Chợ Vải vì nơi đây hoạt động buôn bán vải vóc khá nhộn nhịp của người Ấn Độ (còn gọi là dân Chà Và).[1] Sau đó, Kinh Lớn được đổi tên thành kênh Charner theo tên đô đốc Charner - người ban hành quy định giới hạn địa phận thành phố này. Hai đường xe chạy hai bên bờ kênh mang tên Rigault de Genouilly và Charner (mặc dù đường Charner cũng được gọi là Canton do có nhiều người Hoa gốc Quảng Đông tập trung giao thương).[2]

Vì lưu lượng hàng hóa vận chuyển tấp nập nên Kinh Lớn dần dần trở nên ô nhiễm nặng khiến người Pháp phải cho lấp kênh đào này, cùng với con đường ở hai bờ để trở thành đại lộ rộng lớn mang tên Đại lộ Charner vào năm 1887. Tuy nhiên, người Sài Gòn khi đó lại thường gọi bằng cái tên dân gian là đường Kinh Lấp (nghĩa là "con kênh bị lấp đất"). Đến năm 1956, chính quyền Việt Nam Cộng hòa đổi tên con đường này thành Đại lộ Nguyễn Huệ và được sử dụng cho đến ngày nay.